RAC 群集配置及恢复手册
由社区专家王巧雷分享，王巧雷撰写有多篇优秀技术文章及分享多篇资料。欢迎访问专家个人主页：http://www.talkwithtrend.com/home/space.php?uid=8767
RAC配置及存储崩溃恢复示例
环境介绍
创建虚拟机
安装操作系统
创建共享存储
安装RAC前的准备工作
1. 创建用户组和目录
2. 修改oracle用户的环境变量
3. 修改系统参数
4. 配置两节点的时间同步
5. 配置用户等效性
6. 配置裸设备
7. 创建ASM磁盘
8. 为归档配置NFS
安装配置oracle clusterware
安装clusterware软件
执行脚本
安装数据库软件
安装10.2.0.4补丁
升级clusterware
升级database
创建侦听
创建数据库
创建数据表空间
1. 创建表空间
2. 创建用户
3. 创建表并插入数据
4. 强制产生归档
备份数据
关闭RAC集群
备份VOTEDISK
备份OCR
备份数据设备文件
删除oracle rac共享存储分区，执行恢复
启动crs和群集
检查数据
结论
环境介绍
本次试验是以windows 7平台下的vmware8虚拟环境来实现的，信息如下表：
创建虚拟机
创建rhel5类型的虚拟机，过程略，虚拟机配置如下
安装操作系统
安装centos5.6操作系统，ip和主机名等信息按照规划表配置，过程略
创建共享存储
由于oracle rac环境需要共享存储，因此我们要开辟一个新的文件夹来方法共享磁盘文件（E:\vm\linux_serias\share5）。
节点一：
1. 关闭虚拟机操作系统，打开虚拟机编辑页面，点击“add”
2. 在弹出的添加硬件向导的对话框中，选择harddisk
3. 选择创建一个新的磁盘
4. 按图中所示，勾选参数。
5. 磁盘大小选为1G，选择立即分配空间。
6. 共享磁盘文件的位置选择与系统文件夹不同的位置，点击完成。
7. 选择刚刚创建的磁盘，点击右侧的高级选项，在弹出的对话框中，将其该为1:0
8. 以相同的方法，添加其他的几块共享磁盘，添加完全后如下
9. 使用记事本打开虚拟机文件winsql1.vmx，将以下内容加入
disk.locking = "FALSE"
diskLib.dataCacheMaxSize = "0"
scsi1.sharedBus = "virtual"
scsi1:0.deviceType = "disk"
节点二：
在创建磁盘时注意选择使用已存在的磁盘选项，其他操作和节点一相同。
安装RAC前的准备工作
1.创建用户组和目录
两个节点都执行
2. 修改oracle用户的环境变量
两个节点均执行，执行完毕后退出用户再次登录。
3. 修改系统参数
以root用户修改，两个节点均执行
4. 配置两节点的时间同步
A. 开启节点一的时间服务
B. 将同步脚本写入节点二的开机自启动
5. 配置用户等效性
两节点均以oracle用户执行
节点一执行
节点二执行
等效性测试
6. 配置裸设备
6.1. 将识别到的共享磁盘使用fdisk命令进行分区，分区信息依照表二，过程略
6.2 修改/etc/udev/rules.d/60-raw.rules文件，来配置裸设备信息，两个节点都运行
6.3 重启服udev务
6.4查看裸设备
6.5 创建数据文件软连接，两个节点均执行
6.6. 查看软连接
7. 创建ASM磁盘
A. 检查asm包是否安装
B. 两个节点都配置ASMlib
C. 在节点一创建asm磁盘
D. 在节点二扫描并识别磁盘
8. 为归档配置NFS
由于oracle rac环境下的归档不能放在裸设备上，为了方便备份，我们在每个节点上都配置了一个单独的归档目录，并在两个节点间将这两个目录互为NFS
1. 确认两个节点都安装了nfs的包
2. 配置NFS
节点一配置导出
节点二识别并挂载：
节点二配置导出
节点一配置并识别：
3. 写入/etc/fstab文件，配置开机自动挂载
节点一
节点二
安装配置oracle clusterware
安装clusterware软件
1. 编辑/etc/redhat-release文件，将如下内容写入，否则自检过不去
redhat-4
2. 切换到clusterware安装目录，执行./runInstaller 开始安装
3. 安装清单目录和安装组默认，下一步
4. 通过浏览按钮更正crs的目录，点击下一步
5. 忽略系统警告，下一步
6. 点击add添加节点二信息
7. 修改两个网卡的作用
8. 选择单路模式的集群注册信息，并填入路径
9. 表决盘选择外部方式并写入路径
10. 确认细心无误，点击安装
执行脚本
1. 安装过程中会出现运行脚本提示
2. 以root用户依次执行所提示脚本
节点一执行orainstRoot.sh
节点二执行orainstRoot.sh
节点一执行root.sh
节点二执行root.sh
3. 修改vipca的脚本内容，在原有的基础上添加红色字体部分。
4. 在节点二上以root身份手动执行vipca
解决方法：
点击exit完成集群软件的安装
安装数据库软件
如下软件包需要提前安装
binutils-2.15.92.0.2-10.EL4
compat-db-4.1.25-9
control-center-2.8.0-12
gcc-3.4.3-9.EL4
gcc-c++-3.4.3-9.EL4
glibc-2.3.4-2
glibc-common-2.3.4-2
gnome-libs-1.4.1.2.90-44.1
libstdc++-3.4.3-9.EL4
libstdc++-devel-3.4.3-9.EL4
make-3.80-5
pdksh-5.2.14-30
sysstat-5.0.5-1
xscreensaver-4.18-5.rhel4.2
libaio-0.3.96
1. 切换到数据库安装目录，执行./runInstaller
2. 选择企业版进行安装
3. 安装清单目录和安装组默认
4. 选择cluster方式安装，勾选第二个节点
5. 只安装软件
6. 确认无误后，开始安装
7. 执行脚本
节点一：
节点二：
8. 点击退出完成安装
安装10.2.0.4补丁
升级clusterware
1. 切换到补丁目录，执行安装程序
2. 修改为crs目录，下一步
3. 选择升级节点
4. 执行预安装检查通过
5. 确认无误，点击install
6. 执行脚本
节点1
节点二：
升级database
1. 切换到补丁目录，执行升级脚本
2. 选数据库目录，点下一步
3. 默认为群集方式，下一步
4. 预安装检查通过，下一步
5. 默认下一步
6. 确认无误后，点击install
7. 提示执行脚本
节点一
节点二：
8. 点击exit，完成升级
创建侦听
1. 在一个节点上以oracle运行netca
2. 选择两个节点
3. 选择创建侦听
4. 选择添加
5. 填写侦听名称
6. 选tcp模式
7. 选择默认的1521端口
8. 不继续创建侦听
9. 创建完毕
10. 点击finish退出安装
创建数据库
1. 在任意一个节点以oracle用户执行dbca，选择集群数据库
2. 选择创建数据库
3. 选择两个节点
4. 选择一般用途
5. 填写sid
6. 默认配置即可，下一步
7. 设置密码
8. 选择asm
9. 输入asm实例密码，并选择pfile
10. 选择是，创建asm实例
11. 选择创建新的磁盘组
12. 创建两个新的磁盘组:FLASH和DATA
13. 选择数据文件磁盘组为DATA
14. 选择闪存区磁盘组为FLASH，启用归档，编辑归档路径
15. 不创建示例库
16. 暂不配置数据库服务
17. 可在此页面下调整内存参数、字符集和连接数等等
18. 数据库存储信息概览
19. 点击finish，开始创建
创建完成后检查rac的各项服务，均正常
创建数据表空间
1. 创建表空间
2. 创建用户
3. 创建表并插入数据
4. 强制产生归档
备份数据
由于ocr和vote都是基于裸设备，oracle对ocr有自己的备份机制，votedisk使用dd备份，除此之外，我们还可以使用tsm的裸设备映像备份功能直接对ocr和vote进行备份。
关闭RAC集群
关闭数据库相关资源：
关闭crs
备份VOTEDISK
1. 检查votedisk配置
2. 使用dd备份
备份OCR
备份操作都在root下执行，备份恢复时关闭crs服务
备份：
ocrconfig -export /u01/ocrexp.exp
恢复：
ocrconfig -import /u01/ocr.exp
Ocr每4个小时自动备份一次，也可以使用ocr的自动备份文件来进行恢复
备份数据设备文件
删除oracle rac共享存储分区，执行恢复
1. 删除分区，重建分区，重建完成后如下
2. 打开tsm client执行恢复
启动crs和群集
以root用户启动crs：crsctl start crs
以oracle用户启动rac服务：crs_start -all
检查数据
结论
使用基于tsm裸设备映像的备份方式，可以直接备份oracle rac的裸设备和asm设备文件。
好处是，在后端存储被破坏掉之后，只需要安装原先的存储规划进行划分，然后直接经映像恢复到新的分区上即可，映像会覆盖新的分区，恢复完成后直接启动rac的各项服务即可。
坏处是，进行映像备份和恢复会对整个lun进行操作，比较浪费备份存储空间，需要更长的备份恢复时间，也就是说需要更长的停机时间。
点及阅读原文可下载原文档（word版，更方便收藏使用）
长按二维码关注公众号AIX专家俱乐部